ओपन-सोर्स वेब स्क्रैपर प्रोजेक्ट Crawl4 AI ने हाल ही में v0.4.1 संस्करण जारी किया है, जो कई महत्वपूर्ण अपडेट लाता है। सबसे मायने रखने वाली बात यह है कि इसमें नया पाठ्य मोड (Text-Only Mode) कार्यक्षमता जोड़ी गई है, जो संसाधन लोडिंग रणनीति को बेहतर बनाकर क्रॉलिंग दक्षता को मूल रूप से 3-4 गुना बढ़ा देती है। इस अपडेट का मुख्य उद्देश्य स्क्रैपर को और तेज और अधिक स्मार्ट बनाना है, प्रोजेक्ट के देखरेखकर्ता ने कहा कि विशेष रूप से आधुनिक वेबपृष्ठों को संभालते समय, नया संस्करण महत्वपूर्ण लाभ दिखाता है। इस अपडेट की एक प्रमुख विशेषता नई पाठ्य मोड है।

हाल ही में एक जांच में पाया गया कि सैकड़ों वेबसाइटें कृत्रिम बुद्धिमत्ता कंपनी Anthropic को अपनी सामग्री को स्क्रैप करने से रोकने की कोशिश कर रही हैं, लेकिन पुरानी निर्देशों के उपयोग के कारण गलत बॉट को अवरुद्ध कर दिया गया। यह स्थिति वर्तमान वेबसाइट मालिकों के लिए बदलते एआई स्क्रैपिंग पारिस्थितिकी तंत्र का सामना करने में आने वाली दिक्कत को उजागर करती है।

यूरोपीय डेटा संरक्षण नियामक संस्थाएँ एलोन मस्क के X प्लेटफ़ॉर्म पर एक जांच कर रही हैं, जिसमें बिना उपयोगकर्ताओं की स्पष्ट सहमति के उपयोगकर्ता डेटा को उनके AI स्टार्टअप xAI के सिस्टम के लिए स्वचालित रूप से उपयोग किया गया। उपयोगकर्ताओं ने पाया कि उनके पोस्ट और Grok चैटबॉट के साथ बातचीत AI सिस्टम के प्रशिक्षण और सूक्ष्म समायोजन के लिए उपयोग की गई। आयरिश डेटा संरक्षण आयोग ने X प्लेटफ़ॉर्म को पूछताछ भेजी है, जिसमें उपयोगकर्ता पारदर्शिता के मुद्दे को स्पष्ट करने के लिए कहा गया है, और संभवतः सामान्य डेटा संरक्षण विनियमन (GDPR) के संभावित उल्लंघनों की जांच शुरू की जाएगी। यह कदम X प्लेटफ़ॉर्म द्वारा GDPR नियमों के संभावित उल्लंघनों के बारे में चिंताओं को जन्म देता है।